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Проведен компьютерный статистический сравнительный анализ результатов вступительных испытаний по математике с резуль- 
татами традиционного входного контроля математических знаний в зависимости от разных форм испытания и обучения в вузе, 
а также сравнение результатов входного контроля с тестированием, использующим компьютерные технологии. Сделан вывод о 
статистически значимых различиях этих результатов. Обсуждаются причины выявленных существенных различий. Проведен 
компьютерный хронологический анализ и прогнозирование результатов входного контроля. 


Введение 

Главной проблемой современного инженерного 
образования является проблема его качества [1]. В 
связи с подписанием Россией Болонского согла- 
шения одной из важных задач ближайшего време- 
ни станет разработка и использование методик 
оценки качества образования, сопоставимых с об- 
щеевропейскими. В частности, необходимо совер- 
шенствование и оптимизация приема в вузы, соз- 
дание эффективной системы контроля качества 
знаний (например, тестирование) [2, 3]. 

В Томском политехническом университете 
(ТПУ) наряду с вступительными испытаниями 
(ВИ) по математике в разных формах испытаний 
(ФИ): ЕГЭ, централизованное тестирование (ЦТ), 
олимпиада (О), вступительный экзамен (ЭКЗ), 
проводится входной контроль (ВК) математиче- 
ских знаний школьной программы на основе ауди- 
торной контрольной работы с проверкой ее препо- 
давателями. Задание ВК содержит 6 задач средней 
сложности (типа группы В в билетах ЕГЭ). Резуль- 
таты ВК (по 5-бальной шкале) за последние 10 лет 
представлены в табл. 1. 


Таблица 1. Средний балл т результатов ВК по 5-бальной 
шкале 


Год 

1995 

1996 

1997 

1998 

1999 

2000 

2001 

2002 

2003 

2004 

т 

1,906 

1,838 

1,788 

1,770 

2,195 

2,250 

2,308 

2,250 

2,381 

2,216 


Аналогичный ВК проводится и в других вузах 
России, например, в Кузбасском государственном 
техническом университете и Кемеровском государ- 
ственном университете с 1971 г. [4]. 


В связи с этим представляет интерес сравнение 
результатов выше указанного ВИ с соответствую- 
щими результатами ВК. 

Статистический метод 

Все числовые результаты (например, ВИ по 
100-бальной шкале и ВК по 12-бальной шкале) при- 
ведены к единой 5-бальной шкале (делением резуль- 
тата на соответствующий максимальный результат и 
умножением на пять). Созданная таким образом в 
М8 Ехсеі база данных использовалась далее в пакете 
Біаіійіса 6.0 для статистического анализа данных: 
вычисления числовых характеристик (среднее т, 
стандартное отклонение сг, асимметрия А и эксцесс 
Е ), применения параметрического /-критерия Стью- 
дента для сравнения средних двух независимых нор- 
мальных выборок (для проверки нормальности ра- 
спределения использованы оценки асимметрии А и 
эксцесса Е, '/ - критерий Пирсона и критерий Кол- 
могорова-Смирнова), а также непараметрических 
критериев: критерий серий Вальда-Вольфовица, 17- 
критерий Манна-Уитни, критерий Колмогорова- 
Смирнова [5]. Применялся метод экспоненциально- 
го сглаживания и прогнозирования временного ряда 
т (табл. 1). 

Результаты и их анализ 

Во ВК 2004 г. участвовали 1175 студентов первого 
курса ТПУ: институт геологии и нефтегазового дела 
(ИГНД), электротехнический институт (ЭЛТИ); фи- 
зико-технический (ФТФ), электрофизический 
(ЭФФ), машиностроительный (МСФ), химико-тех- 
нологический (ХТФ), теплоэнергетический (ТЭФ), 
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автоматики и вычислительной техники (АВТФ), 
естественных наук и математики (ЕНМФ) факульте- 
ты. Данные по ВИ брались из ведомостей по ВК со 
слов студентов. То., объем выборки результатов ВИ 
составил 1133 студента. При этом 42 «забывчивых» 
студента так и остались неопределенными в связи с 
отказом центральной приемной комиссии ТПУ 
уточнить эту информацию. Числовые характеристи- 
ки выборок ВИ и ВК приведены в табл. 2. 

Средний балл во ВИ составил =3,45 по 5-бальной 
шкале, в то время как во ВК только =2,22, то есть ни- 
же более чем на балл. Можно заметить, что средний 
балл во ВК для студентов-заочников 1-го курса Ве- 
довского филиала ТПУ в 2004 г. =1,05 (выборка ВКБл 
в табл. 2), то есть еще ниже более чем на балл. Срав- 
нительное распределение выборок ВИ и ВК по рав- 
номерной 5-бальной шкале отображено на рис. 1. 



Рис. 1. Составная гистограмма результатов ВИ и ВК в 2004 г 



0 1 2 3 4 5 

пятиОальная шкала 

Рис. 2. Составная гистограмма результатов ВК й и ТЕСТ в 2003 г. 


Над столбцами указаны значения относитель- 
ных частот в процентах. Как следует из рис. 1, вы- 
борка результатов ВИ является более компактной 
(стандартное отклонение «7=0,63), асимметричной 
вправо (коэффициент асимметрии 4=-0,52<0), ос- 
тро вершинной (коэффициент эксцесса Е=0,28>0) 
и соответствует скорее нормальному закону ра- 
спределения, в то время как выборка результатов 
ВК является более распыленной (стандартное от- 
клонение «7=1,41), асимметричной влево (коэффи- 
циент асимметрии 4=0, 13>0), туповершинной (ко- 
эффициент эксцесса Е=-0,97<0) и соответствует 
скорее равномерному закону распределения. 


Для оценки значимости различий в выборках 
результатов ВИ и ВК использовались критерии 
сравнения средних двух независимых выборок. В 
связи с проверкой применения 1 - критерия Стью- 
дента для визуальной оценки сходства наблюдае- 
мых распределений (гистограммы) с теоретиче- 
ским распределением по нормальному закону (со- 
ответствующие кривые) использована равномер- 
ная 5-бальная шкала. Проверка нормальности ра- 
спределения выборок с помощью коэффициентов 
асимметрии 4 и эксцесса Е (отношения А и Е по 
модулю к соответствующим стандартным ошибкам 
не должны превышать числа 3) показывает суще- 
ственное отклонение от нормальности в случае ВИ 
по асимметрии (0,52/0,073=7, 12>3) и ВК по эк- 
сцессу (0,97/0, 143=7, 46>3) в соответствии с табл. 2. 
Проверка нормальности распределения выборок с 
помощью ^-критерия Пирсона и критерия Кол- 
могорова-Смирнова дает высоко значимые (уро- 
вень значимости а< 0,001) отличия распределений 
выборок от нормального закона. В связи с наруше- 
нием условия нормальности распределений выбо- 
рок далее применялись непараметрические крите- 
рии сравнения средних двух независимых выбо- 
рок, откуда следует вывод о высоко значимом раз- 
личии в средних баллах 3,45 для ВИ и 2,22 для ВК. 

В настоящее время в ТПУ проводится экспери- 
мент по введению системы независимой оценки ка- 
чества обучения в тестовой форме с использовани- 
ем компьютерной технологии [6, 7], в рамках кото- 
рого тестированием в форме, аналогичной билетам 
ЕГЭ (в объеме групп заданий А и В, без группы С), 
с последующей машинной проверкой оценивались 
остаточные знания школьной программы (ТЕСТ). 
К сожалению, в 2004 г. ТЕСТ не проводилось. Поэ- 
тому в данной работе проведено сравнение ВКщ и 
ТЕСТ по результатам 2003 г. Сравнение ВКо 3 и ТЕСТ 
проведено по аналогии со сравнением выборок ВИ 
и ВК. Числовые характеристики выборок ВК„ 3 и 
ТЕСТ приведены в табл. 2. Сравнительное распре- 
деление выборок ВКоз и ТЕСТ по равномерной 
5-бальной шкале отображено на рис. 2. Статистиче- 
ские критерии дали высоко значимые (а<<0,001) 
различия в средних баллах результатов входного 
контроля 1,96 для ТЕСТ и 2,38 для ВК^. Таким об- 
разом, ТЕСТ определяет уровень знаний студентов 
ниже, чем ВК. Предложенные тестовые механизмы 
оценки знаний являются более грубыми, чем суще- 
ствующие традиционные. По аналогии с билетами 
ЕГЭ билеты ТЕСТ содержат только задания на «уга- 
дывание» (группа А) и задания, правильность реше- 
ния которых проверяются только по конечному чи- 
словому результату (группа В). 

Ниже результаты ВИ и ВК по 2004 г. рассмотре- 
ны по факультетам. Значения основных числовых 
характеристик выборок ВИ и ВК по факультетам 
приведены в табл. 3. Значения объема N выборок 
ВИиВК по факультетам изменяются в широком ди- 
апазоне от 51 до 214 (см. также рис. 4). Значения т и 
«7 выборок ВИ и ВК по факультетам отличаются от 
соответствующих т и «7 выборок ВИ и ВК по ТПУ 
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(табл. 2) на величину от нескольких сотых до нес- 
кольких десятых долей по 5-бальной шкале. При 
этом, как показывает применение непараметриче- 
ских критериев сравнения средних выборок по фа- 
культету и по ТПУ, различие даже в одну десятую до- 
лю по 5-бальной шкале приводит к статистически 
значимым отличиям (уровень значимости оК0,05). 


Таблица 2. Числовые характеристики выборок ВИ, ВК, ВК т , 
ТЕСТиВКБл 


Вы- 

борка 

Объем 

N 

Сред- 

нее 

/77 

Станд. 

откло- 

нение 

о 

Асим- 

метрия 

А 

Станд. 
ошиб- 
ка ас- 

симе- 

трии 

Эк- 

сцесс 

Е 

Станд. 
ошиб- 
ка эк- 
сцесса 

ВИ 

1133 

3,45 

0,63 

-0,52 

0,073 

0,28 

0,145 

ВК 

1175 

2,22 

1,41 

0,13 

0,071 

-0,97 

0,143 

В К 0 з 

754 

2,38 

1,35 

0,028 

0,089 

-0,811 

0,178 

ТЕСТ 

796 

1,96 

0,99 

-0,232 

0,087 

-0,447 

0,173 

ВКБл 

129 

1.05 

0,84 

0,631 

0,213 

0,051 

0,423 


Таблица 3. Числовые характеристики выборок ВИ и ВК по 
факультетам 


Факуль- 

тет 

ФТФ 

ЭФФ ХТФЕНМФ 

элти 

ИГНДМСФТЭФ 

АВТФ 

^ВИ 

214 

169 144 51 

105 

162 64 54 

170 

Л/вк 

21/ 

174 147 51 

115 

175 64 55 

177 

т ш 

3,3/ 

3,49 3,36 3,40 

3,31 

3,39 3,33 3,55 

3,76 

т ък 

2,32 

2,05 2,07 2,36 

1,92 

2,06 1,91 2,51 

2,70 


0,56 

0,61 0,58 0,76 

0,/б 

0,57 0,77 0,57 

0,55 

Свк 

1,37 

1,32 1,36 1,67 

1,31 

1,41 1,44 1,43 

1,39 


Значения средних баллов результатов ВИ и ВК 
по факультетам с указанием 95 % доверительного 
интервала приведены на рис. 3. Ширина довери- 
тельного интервала, определяющая погрешность 
измерения среднего, пропорциональна о и обрат- 
но пропорциональна Ѵ/Ѵ [8]. Таким образом, более 
широкие доверительные интервалы т для ЕНМФ, 
МСФ и ТЭФ объясняются в большей мере сравни- 
тельно малыми объемами этих выборок У (рис. 4). 



ФАКУЛЬТЕТ 

Рис. 3. Линейные графики средних баллов с 95 % довери- 
тельными интервалами результатов ВИ и ВК по фа- 
культетам 

Сравнительной характеристикой различия выбо- 
рок ВИ и ВК может быть распределение выборки ВИ 
- ВК (рис. 5) разностей результатов выборок ВИ и ВК. 

Как следует из рис. 5, 82,5 %, т.е. =4/5 студентов 
из 1133 не подтвердили на ВК уровня своих зна- 


ний, отраженного в ВИ. При этом, например, 7,8 % 
студентов имеют результаты на ВК ниже соответ- 
ствующих результатов в ВИ более чем на три балла 
по 5-бальной шкале. 



ФАКУЛЬТЕТ 

Рис. 4. Г исто грамма числа участников В К по факультетам 



-3 -2 -1 0 1 2 3 4 5 6 

пятибальная шкала ВИ - ВК 

Рис. 5. Г истограмма распределения разности значений ре- 
зультатов ВИ и ВК 

Представляет интерес исследование результатов 
ВИ и ВК в зависимости от формы испытания (ФИ) 
(среди участвовавших во ВК 73,9 % , т.е. =3/4 посту- 
пили по результатам ЕГЭ, 10,2 % - по ЦТ, 8,5 % - по 
ЭКЗ и 7,4 % - по О), отраженное на рис. 6 и 7, где 
для простоты восприятия использована неравно- 
мерная 5-бальная шкала: [0; 2,5] - «неуд»; (2,5;5] - 
«уд + хор + отл». Из сравнения средних баллов сле- 
дует, что наиболее низкие средние баллы как в ВИ, 
так и на ВК в следующих ФИ: ЭКЗ и ЦТ. При этом 
средние баллы в ВИ и во ВК отличаются почти в два 
раза. Сравнение результатов ВИ и ВК в зависимости 
от ФИ отражает ситуацию в целом: различия резуль- 
татов ВИ и ВК высоко значимы в каждой ФИ. 

На рис. 8 и 9 отражены аналогичные результаты 
ВИ и ВК в зависимости от формы обучения (ФО) 
среди участвовавших во ВК 67,7 %, т.е. =2/3 посту- 
пили на бюджетную форму обучения (Б), 17,1 % — 
на контрактную (К), 15,2 % - по целевому набору 
(Ц). Из сравнения средних баллов следует, что наи- 
более низкие средние баллы как в ВИ, так и на ВК 
в такой ФО как К. 

Сравнение результатов ВИ и ВК в зависимости 
от ФО отражает ситуацию в целом: различия ре- 


203 






Известия Томского политехнического университета. 2005. Т. 308. № 2 


зультатов ВИ и ВК высоко значимы в каждой ФО. 
Аналогичная ситуация наблюдается и, например, в 
Томском государственном университете систем 
управления и радиоэлектроники [9]. 

ФИ: ЕГЭ ВИ: N = 833<п = 3,46, о = 0,59 
ФИ: О ВИ: N = 86, т = 3,78, а = 0,53 
ФИ: ЭКЗ ВИ: N = 97/п = 3,31 ,ст = 0,89 
ФИ: ЦТ ВИ: N = 117/7? = 3,26, о = 0,58 



Рис. 6. Составная гистограмма ФИ ВИ по неравномерной 
5 -бальной шкале 


«хор» и (4,5;5] - «отл». Так, например, средний балл 
в ВК студентов выборки ВИ:(2,5;3], набравших на 
ВИ от 50 до 60 баллов по 100-бальной шкале, равен 
1,581, а средний балл в ВК студентов выборки 
ВИ:(3;3,5], набравших в ВИ от 60 до 70 баллов по 
100-бальной шкале, равен 1,797. Причем, как пока- 
зывает применение критериев сравнения средних 
баллов выборок, различие между 1,581 и 1,797 соот- 
ветствуют уровню значимости а=0,05, граничному 
между слабо значимыми и статистически значимы- 
ми различиями. Остальные средние баллы двух со- 
седних выборок различаются высоко значимо. 


ФО: Б ВИ: N = 760 , т = 3,67, а = 0,53 
ФО: Ц ВИ: N = 176, т = 3,18, а = 0,44 
ФО: К ВИ: Ы = 197 , т = 2,85, о = 0,63 



ФИ: ЕГЭ ВК: N = 868, т = 2,35, а = 1 ,40 

ФИ: О ВК: N = 87, т = 2,20, а = 1 ,36 

ФИ: ЭКЗ ВК: N = 100, т = 1 ,74, а = 1 ,32 

ФИ: ЦТ ВК: N = 120, т = 1 ,65, а = 1 ,36 



пятибальная шкала 

Рис. 7. Составная гистограмма ФИ ВК по неравномерной 
5 -бальной шкале 

Представляет также интерес исследование ре- 
зультатов ВК в зависимости от диапазонов выборки 
ВИ, отраженное на рис. 10, где для простоты вос- 
приятия использована неравномерная 5-бальная 
шкала: [0; 2,5] - «неуд»; (2,5;3,5] - «уд»; (3,5;4,5] - 


пятибальная шкала 

Рис. 8 . Составная гистограмма ФО ВИ по неравномерной 
5 -бальной шкале 


ФО: Б ВК: N = 796,^ = 2,46,0 = 1,42 
ФО: Ц ВК: N = 179, т = 1 ,89, о = 1 ,31 
ФО: К ВК: Ы = 200, т = 1,55,0 = 1,14 



пятибальная шкала 

Рис. 9. Составная гистограмма ФО ВК по неравномерной 
5 -бальной шкале 

Отметим, что средний балл т выборки ВК в 
табл. 1 представляет собой временной ряд, поддаю- 
щийся компьютерному анализу и прогнозирова- 
нию [10]. Применяя метод экспоненциального 
сглаживания и прогнозирования, можно получить 
спрогнозированный ряд среднего балла т 'выборки 
ВК (табл. 4). 
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Технологии инженерного образования 


ВИ: <= 2,5 ВК: N=99. т= 0,97,0=0,91 
ВИ:(2,5;3] ВК: N=191, т = 1,58,0 = 1,14 

ВИ: (3:3,5] ВК: N = 273, т = 1,80, с= 1,20 

ВИ: (3,5;4] ВК: N = 376, т = 2,65,о= 1,32 

ВИ: >4 ВК N = 194, т = 3,29,о= 1,27 



пятибальная шкала 

Рис. 10. Составная гистограмма ВК от ВИ по неравномерной 
5 -бальной шкале 


Таблица 4. Средний балл гл и спрогнозированный т' В К по 
5 -бальной шкале 


Год 

1995 

1996 

1997 

1998 

1999 

О 

О 

О 

2001 

04 

О 

О 

04 

2003 

О 

О 

04 

2005 

т 

1,906 

1,838 

1,788 

1,770 

2,195 

2,250 

2,308 

N4 

(_П 

О 

2,381 

2,216 

- 

т’ 

1,915 

1,845 

1,790 

1,770 

2,175 

2,253 

2,309 

2,255 

2,375 

2,225 

2,223 


Примененная версия экспоненциального сгла- 
живания (демпфированного тренда) является высо- 
коточной, и прогнозу на 2005 г. можно было бы до- 
верять, если не учитывать возможную корректиров- 
ку прогноза ожидаемой «демографической ямой». 

Выводы 

1 . Отличия результатов ВИ по математике в ТПУ в 
2004 г. (ЕГЭ, централизованное тестирование, 


олимпиада, вступительный экзамен) от соот- 
ветствующих результатов ВК математических 
знаний на основе аудиторной контрольной ра- 
боты с проверкой ее преподавателями являются 
статистически значимыми. 

2. Средний балл ВИ в форме ЕГЭ выше среднего 
балла ВК более чем на единицу, что тем более 
показательно, т.к. из года в год задания по ЕГЭ 
становятся более сложными и громоздкими 
(объем полного решения билета ЕГЭ-2004 по 
математике [11] составляет 15 стр.). Это может 
говорить об остроте проблемы корректности 
проведения ВИ. 

3. Различия в результатах оценки качества знаний 
по математике методами ТЕСТ и ВК являются 
статистически значимыми. 

4. Тестовые механизмы ТЕСТ оценки знаний яв- 
ляются более грубыми. Система тестовых испы- 
таний позволяет получить быстро, но грубо (по 
системе «зачет») срез знаний студентов в отли- 
чие от традиционной системы ВК («дифферен- 
цированный зачет»), 

5. Наблюдаемый рост среднего балла в 1999 году 
(табл. 1 ) можно объяснить резким увеличением 
числа абитуриентов, прошедших обучение на 
различных подготовительных курсах. В связи с 
очень низким средним баллом входного кон- 
троля для студентов-заочников (=1,05 по 
5-бальной шкале, табл. 2) можно рекомендовать 
организацию подготовительных курсов на базе 
представительств и филиалов ТПУ. 
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